Hà Lực thuộc dòng dõi quý tộc Thiết Lặc: ông nội là Ca Luận Dịch Vật Thi Mạc Hạ khả hãn [1], cha là Khế Bật Cát, làm Mạc hạ đốt Đặc lặc/cần. Khế Bật Cát cho rằng đất đai của mình gần Thổ Dục Hồn, lại nhỏ hẹp và lắm chướng độc, nên dời vào khu vực của người Quy Tư, ở thượng du Nhiệt Hải (Issyk Kul). Hà Lực lên 9 tuổi thì cha mất, tự giáng hiệu làm Đại sĩ lợi phát [2].

Năm Trinh Quan thứ 6 (632), Hà Lực theo mẹ đưa hơn ngàn gia đình [1][2] (thuyết khác là 6000 [3]) đến Sa Châu [4], dâng biểu xin nội phụ, Đường Thái Tông an trí bộ lạc của ông ở 2 châu Cam, Lương. Hà Lực đến kinh đô Trường An, được cất nhắc làm Tả lĩnh quân tướng quân [1][2][3].